域适应嵌入模型，更新通用嵌入到特定域的语言，是一个经过验证的域，其数据不足以从头划伤训练有效模型。化学出版物是一个这样的领域，提供科学的术语和超载术语，抑制了一般语言模型的性能。最近在Arxiv提出的球形嵌入模型（JOSE）：1911.01196在多维单位领域的训练期间共同学习Word和Document Embeddings，这对文档分类和单词相关任务进行了良好。但是，我们展示了在训练期间通过全局旋转引起的非收敛性阻止它免受域改编。在这项工作中，我们开发了对嵌入空间的全局旋转进行反击的方法，并在域特定培训期间提出更新单词和文档的策略。两个新的文档分类数据集会从一般和化学科学期刊中融合，以比较建议的更新培训策略与基准模型。我们表明我们的策略能够将域适应的性能成本降低到类似于Word2VEC的级别。
translated by 谷歌翻译
近年来，在生成的对抗网络（GAN）领域已取得了很大的进步，尤其是在基于样式的架构的出现，这些架构解决了许多关键的缺点 - 无论是在建模能力和网络可解释性方面。尽管有这些改进，但在卫星图像领域中采用这种方法并不简单。生成任务中使用的典型视觉数据集是良好的对准和注释的，并且具有有限的可变性。相比之下，卫星图像表现出很大的空间和光谱变异性，广泛的高频细节的存在，而注释卫星图像的繁琐本质会导致注释稀缺性 - 进一步激励了无监督学习的发展。从这个角度来看，我们介绍了第一个基于训练的样式和小波的GAN模型，该模型可以很容易地在各种环境和条件下综合了一系列逼真的卫星图像，同时还可以保留高频信息。此外，我们表明，通过分析网络的中间激活，人们可以发现许多可解释的语义方向，这些方向促进了卫星图像的指导综合，而无需使用任何形式的监督。通过一组定性和定量实验，我们证明了我们框架的功效，这是在适合下游任务（例如，数据增强），合成成像质量以及不看到数据集的概括能力方面的功效。
translated by 谷歌翻译
最近显示出一种仅通过神经元的尖峰实现的计算系统，即语法，即进行简单的英语句子的依赖性解析。我们解决了这项工作所留下的两个最重要的问题：选区（句子的关键部分，例如动词短语）和处理依赖句子的处理，尤其是中央句子。我们表明，语言的这两个方面也可以由神经元和突触以与已知或被广泛相信的语言器官的结构和功能兼容的方式来实现。令人惊讶的是，我们实施中心嵌入的方式指出了无上下文语言的新表征。
translated by 谷歌翻译
本文解决了在预训练的生成对抗网络（GANS）的潜在空间中找到可解释方向的问题，以便于可控的图像合成。这种可解释的方向对应于可以影响合成图像的样式和几何体的变换。然而，利用线性技术来查找这些变换的现有方法通常无法提供直观的方式来分离这两个变化源。为了解决这个问题，我们建议a）对中间表示的张量进行多线性分解，b）使用基于张量的回归来利用该分解对潜在空间的映射方向。我们的方案允许与张量的各个模式相对应的线性编辑，并且非线性的编辑模型它们之间的乘法相互作用。我们通过实验显示我们可以利用前者与基于几何的转换更好的单独的风格，以及与现有作品相比，后者产生一组可能的变换。与目前的最先进，我们展示了我们的方法的效果和定性。
translated by 谷歌翻译